เมื่ออายุได้ 14 ปีเอิร์ลแห่งวอริคก็จัดการหมั้นแอนน์กับเอ็ดเวิร์ดแห่งเวสต์มินสเตอร์ เจ้าชายแห่งเวลส์ผู้เป็นรัชทายาทของพระเจ้าเฮนรีที่ 4 เอิร์ลแห่งวอริคไม่พอใจกับรางวัลที่ได้รับพระราชทานจากการช่วยให้พระเจ้าเอ็ดเวิร์ดที่ 4ได้เป็นพระมหากษัตริย์จึงได้เปลี่ยนไปเข้าข้างพระราชินีมาร์กาเร็ตสมเด็จพระราชินีในพระเจ้าเฮนรีที่ 4 แต่มาร์กาเร็ตทรงมีความสงสัยในความตั้งใจของเอิร์ลแห่งวอริค โดยเฉพาะหลังจากที่อิสซาเบลพี่สาวของแอนน์ไปแต่งงานกับจอร์จ แพลนทาเจเน็ท ดยุคแห่งแคลเรนซ์ที่ 1 พระอนุชาของพระเจ้าเอ็ดเวิร์ด เพื่อบรรเทาความเคลือบแคลงใจเอิร์ลแห่งวอริคก็จัดการหมั้นเอ็ดเวิร์ดแห่งเวสมินสเตอร์กับแอนน์ที่วังอังบัวส์ในฝรั่งเศส และการแต่งงานที่มหาวิหารอองเจส์เมื่อวันที่ 13 ธันวาคม ค.ศ. 1470

หลังจากนั้นมาร์กาเร็ตแห่งอองจูก็ส่งเอิร์ลแห่งวอริคไปอังกฤษเพื่อกู้ราชบัลลังก์ให้แก่พระเจ้าเฮนรี ซึ่งประสพความสำเร็จแต่มาพ่ายแพ้และถึงแก่อสัญกรรมในศึกสองสามเดือนหลังจากนั้น แอนน์กลับมาอังกฤษกับเอ็ดเวิร์ดแห่งเวสมินสเตอร์และมาร์กาเร็ตแห่งอองจูหลังจากที่เอิร์ลแห่งวอริคเสียชีวิตไปแล้ว

หลังจากที่เอ็ดเวิร์ดแห่งเวสมินสเตอร์เสียชีวิตในยุทธการทูคสบรี (Battle of Tewkesbury) เมื่อวันที่ 4 พฤษภาคม ค.ศ. 1471 แอนน์และและมาร์กาเร็ตแห่งอองจูก็ถูกจับและนำไปโคเว็นทรี ต่อมาก็ถูกย้ายไปคฤหาสน์ของดยุคแห่งแคลเรนซ์ในลอนดอน ซึ่งเป็นที่ที่แอนน์กลายเป็นต้นตอของความขัดแย้งระหว่างดยุคแห่งแคลเรนซ์และพระเจ้าริชาร์ด

ดยุคแห่งแคลเรนซ์ในขณะนั้นก็แต่งงานแล้วกับพี่สาวของแอนน์แต่ก็ยังพยายามที่จะได้อสังหาริมทรัพย์ของตระกูลเนวิลล์ทั้งหมด จึงได้ปฏิบัติต่อแอนน์เช่นผู้อยู่ในการปกครอง เชื่อกันว่าพระเจ้าริชาร์ดตามหาแอนน์จนพบและพาหนีไปพำนักอยู่ในวัดเซนต์มาร์ติน เล แกรนด์ ปีต่อมาริชาร์ดกับแอนน์ก็แต่งงานกัน และไปพำนักที่ปราสาทมิดเดิลแฮม